Erdem begon zijn carrière bij Zeytinburnuspor waar hij dan ontdekt werd door Galatasaray. Bij deze club speelde hij 347 competitiewedstrijden en scoorde 105 keer. Met Galatasaray won hij de UEFA Cup en UEFA Super Cup. Twee jaar later behaalde hij met het Turks voetbalelftal een derde plaats op het Wereldkampioenschap voetbal 2002. Na negen jaar voetbal bij Galatasaray besloot hij om naar Real Sociedad in Spanje te trekken. Hij bleef hier een half jaar en trok terug naar zijn oude nest. In 2005 is hij gestopt met voetbal. Sinds augustus 2006 is hij assistent-coach bij Istanbul Büyükşehir Belediyespor.